This paper investigates models of event implications. Specifically, how well models predict entity state-changes, by targeting their understanding of physical attributes. Nominally, Large Language models (LLM) have been exposed to procedural knowledge about how objects interact, yet our benchmarking shows they fail to reason about the world. Conversely, we also demonstrate that existing approaches often misrepresent the surprising abilities of LLMs via improper task encodings and that proper model prompting can dramatically improve performance of reported baseline results across multiple tasks. In particular, our results indicate that our prompting technique is especially useful for unseen attributes (out-of-domain) or when only limited data is available.
translated by 谷歌翻译
拟人化是一种语音人物,它赋予无生命实体具有属性和行动,通常被视为需要动画。在本文中,我们探讨了人格化生成的任务。为此,我们提出了菠萝:通过获取平行的人格化数据来学习增强的产生,来拟人化无生命的实体。我们策划了一个名为PersonifCorp的拟人化语料库,并自动生成了这些拟人化的文字化。我们通过训练SEQ2SEQ模型来拟人化给定的文字输入,从而证明了该平行语料库的有用性。自动评估和人类评估都表明,通过人格科目进行微调会带来与人格化相关的素质(例如动画和兴趣)的显着提高。详细的定性分析还强调了菠萝在基准上的关键优势和瑕疵,表明具有强大的能力产生多样化和创造性的拟人化,从而增强了句子的整体吸引力。
translated by 谷歌翻译
舌头是有意义的句子,难以发音。自动产生舌头扭曲的过程具有挑战性,因为产生的话语必须立即满足两个条件:语音难度和语义含义。此外,语音难度本身很难表征,并且通过异质的现象(例如垂涎和谐音)的异质组合以自然的扭曲词来表达。在本文中,我们提出了Pancetta:音素意识到的神经完成,以自动引起舌头扭曲。我们利用音素表示来捕获语音难度的概念,并训练语言模型以在两个提出的任务设置上生成原始的舌头扭曲。为此,我们策划了一个名为Pancetta的数据集,该数据集由现有的英语舌头组成。通过自动和人类评估以及定性分析,我们表明pancetta产生了新颖,语音上的困难,流利和语义上有意义的舌头扭曲。
translated by 谷歌翻译
数据增强是自然语言处理(NLP)模型的鲁棒性评估的重要组成部分,以及增强他们培训的数据的多样性。在本文中,我们呈现NL-Cogmenter,这是一种新的参与式Python的自然语言增强框架,它支持创建两个转换(对数据的修改)和过滤器(根据特定功能的数据拆分)。我们描述了框架和初始的117个变换和23个过滤器,用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构,Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用(\ url {https://github.com/gem-benchmark/nl-augmenter})。
translated by 谷歌翻译
在本文中,我们探讨了序列模型执行跨域推理的能力。为此,我们提出了一个提示模板填充方法,以使序列序列模型来执行跨域推理。我们还展示了一种案例研究,具有致辞和健康和幸福的域名,在那里我们研究了临时模板填充的序列如何浏览序列跨域的序列模型。我们跨越几个佩带的编码器 - 解码器模型的实验表明,跨域推理对当前模型有挑战性。我们还展示了深入的错误分析和途径,以便在跨域推理的未来研究
translated by 谷歌翻译
我们调查使用图像中包含的多模式信息作为增强文本生成的变压器模型的勤义的有效方法。我们在概念到文本生成中使用BART和T5进行实验,特别是生成致辞推理或蒙的任务。我们称之为Visctg:视觉地基础的概念到文本生成。VisctG涉及代表适当日常方案的标题图像,并使用这些标题来丰富和转向生成过程。综合评估和分析表明,VisctG显着提高了模型性能,同时成功地解决了基线几代的几个问题,包括差的致辞,流畅性和特异性。
translated by 谷歌翻译
我们激励并提出了一套简单但有效的改进,涉及蓝宝石的概念到文本生成:设置增强和后期短语infilling和重组。我们通过使用BART和T5模型的实验展示了它们对生成型号推理的有效性A.k.a.。通过广泛的自动和人类评估,我们表明蓝宝石显着提高了模型性能。深入的定性分析说明了蓝宝石有效地解决了基线模型世代的许多问题,包括缺乏致辞,特异性不足,流畅性差。
translated by 谷歌翻译
由于低资源域名,新任务以及需要大量培训数据的大规模神经网络的普及,最近,数据增强最近看到了对NLP的兴趣增加。尽管最近的高潮,但由于语言数据的离散性质所带来的挑战,这一领域仍然相对望远欠了。在本文中,我们通过以结构化方式概述文献来展示对NLP的全面和统一对NLP的数据。我们首先介绍和激励NLP的数据增强,然后讨论主要的方法论代表性方法。接下来,我们突出显示用于流行NLP应用程序和任务的技术。我们通过概述当前挑战和未来研究的指示来结束。总体而言,我们的论文旨在澄清现有文学的景观,以便NLP的数据增强,并激励该领域的其他工作。我们还提供了一个GitHub存储库,纸张列表将在https://github.com/styfeng/dataaug4nlp上不断更新
translated by 谷歌翻译
根据其结构如何影响文本的解释和意义,文本中存在许多隐式推论。具有年代学中的文本中存在的一个这样的结构方面是其演示的顺序。对于叙述或故事,这被称为叙述顺序。重新排序叙述可能影响时间,因果,事件和其他推论读者从中抽取,这反过来可能对其解释和有趣有很大的影响。在本文中,我们提出并调查了叙事重新排序(Nareor)的任务,涉及以不同的叙述顺序重写给定的故事,同时保留其情节。我们在非线性订单中展示了一个DataSet,Nareorc,在洛奇因子内的故事中的人类重写,并对其进行详细分析。此外,我们提出了具有合适的评估指标的新型任务特定培训方法。我们使用诸如BART和T5等最先进的模型进行Nareorc的实验,并进行广泛的自动和人类评估。我们证明,尽管我们的模型可以体现,但是Nareor是一个具有挑战性的任务,具有进一步探索的潜力。我们还调查了Nareor的两种应用:生成更有趣的故事变化,并且作为临时/事件相关任务的对抗集,除了讨论其他潜在的任务之外,例如与文章技能相关的教学设置,如文章写作和医学的应用。涉及临床叙事。
translated by 谷歌翻译
We present Noisy Student Training, a semi-supervised learning approach that works well even when labeled data is abundant. Noisy Student Training achieves 88.4% top-1 accuracy on ImageNet, which is 2.0% better than the state-of-the-art model that requires 3.5B weakly labeled Instagram images. On robustness test sets, it improves ImageNet-A top-1 accuracy from 61.0% to 83.7%, reduces ImageNet-C mean corruption error from 45.7 to 28.3, and reduces ImageNet-P mean flip rate from 27.8 to 12.2.Noisy Student Training extends the idea of self-training and distillation with the use of equal-or-larger student models and noise added to the student during learning. On Im-ageNet, we first train an EfficientNet model on labeled images and use it as a teacher to generate pseudo labels for 300M unlabeled images. We then train a larger Efficient-Net as a student model on the combination of labeled and pseudo labeled images. We iterate this process by putting back the student as the teacher. During the learning of the student, we inject noise such as dropout, stochastic depth, and data augmentation via RandAugment to the student so that the student generalizes better than the teacher. 1 * This work was conducted at Google.
translated by 谷歌翻译